在圆O的方程为x^2+y^2=r^2,圆内有定点P(a,b),圆周上有两个动点A,B,使PA⊥PB,求矩形ABCD的顶点Q的轨迹方程

题出错了吧，应该是 “求矩形APBQ的顶点Q的轨迹方程”不然C和D是哪冒出来的？？

确实应该是 “求矩形APBQ的顶点Q的轨迹方程”
设Q(x,y),A(x1,y1),B(x2,y2),而P(a,b),

有矩形性质得：x1+x2=a+x;y1+y2=b+y;
两方程平方相加得：
(x+a)^2+(y+b)^2=2r^2+2(x1x2+y1y2)

又PA⊥PB，即（b-y1）(b-y2)/(a-x1)(a-x2)=-1,
即（y2-y）（y1-y）/（x2-x）（x1-x）=-1
得x1x2+y1y2=x(x1+x2)+y(y1+y2)-x^2-y^2
=x(a+x)+y(b+y)-x^2-y^2=ax+by

所以第三个方程化为：
(x+a)^2+(y+b)^2=2r^2+2ax+2by
即x^2+y^2=2r^2-a^2-b^2